Roosevelt duy trì liên lạc và hàn gắn rào cản cách biệt với Đảng Dân chủ trong suốt thập niên 1920, đặc biệt là tại New York. Mặc dù ông vẫn có tên trong thành phần chống đối bộ máy chính trị Tammany Hall của Thành phố New York nhưng ông giảm nhẹ thái độ của mình. Ông giúp Alfred E. Smith đắc cử thống đốc tiểu bang New York năm 1922, và thậm chí ông còn là một người ủng hộ tích cực cho Smith chống lại người cháu họ của mình là đảng viên Cộng hòa Theodore Roosevelt, Jr. năm 1924.[17] Roosevelt đã đọc diễn văn đề cử Smith trong các đại hội toàn quốc của Đảng Dân chủ năm 1924 và 1928.[18] Với tư cách là ứng viên tổng thống của Đảng Dân chủ trong cuộc bầu cử tổng thống vào năm 1928, Smith đáp lại bằng cách yêu cầu Roosevelt ra tranh cử chức thống đốc tiểu bang New York năm 1928. Trong khi Smith thất cử tổng thống một cách thảm bại, thậm chí thua tại ngay tiểu bang nhà của mình thì Roosevelt đắc cử thống đốc với tỉ lệ sít sao.

Trong vai trò một thống đốc cải cách, ông lập ra một số chương trình xã hội mới, được Frances Perkins và Harry Hopkins cố vấn.

Trong cuộc vận động tái tranh cử năm 1930, Roosevelt cần sự thiện chí của nhóm Tammany Hall ở Thành phố New York; Tuy nhiên, đối thủ của ông thuộc Đảng Cộng hòa là Charles H. Tuttle đã nêu chuyện tham nhũng của nhóm Tammany Hall ra làm vấn đề tranh cử. Khi bầu cử sắp đến, Roosevelt ra lệnh điều tra việc mua bán các chức vụ tư pháp. Ông đắc cử nhiệm kỳ hai với con số cách biệt khoảng 700.000 phiếu.[19]